Data-Free Class Incremental Learning (DFCIL) aims to sequentially learn tasks with access only to data from the current one. DFCIL is of interest because it mitigates concerns about privacy and long-term storage of data, while at the same time alleviating the problem of catastrophic forgetting in incremental learning. In this work, we introduce robust saliency guidance for DFCIL and propose a new framework, which we call RObust Saliency Supervision (ROSS), for mitigating the negative effect of saliency drift. Firstly, we use a teacher-student architecture leveraging low-level tasks to supervise the model with global saliency. We also apply boundary-guided saliency to protect it from drifting across object boundaries at intermediate layers. Finally, we introduce a module for injecting and recovering saliency noise to increase robustness of saliency preservation. Our experiments demonstrate that our method can retain better saliency maps across tasks and achieve state-of-the-art results on the CIFAR-100, Tiny-ImageNet and ImageNet-Subset DFCIL benchmarks. Code will be made publicly available.

Learning fine-grained interplay between vision and language allows to a more accurate understanding for VisionLanguage tasks. However, it remains challenging to extract key image regions according to the texts for semantic alignments. Most existing works are either limited by textagnostic and redundant regions obtained with the frozen detectors, or failing to scale further due to its heavy reliance on scarce grounding (gold) data to pre-train detectors. To solve these problems, we propose Self-Locator Aided Network (SLAN) for cross-modal understanding tasks without any extra gold data. SLAN consists of a region filter and a region adaptor to localize regions of interest conditioned on different texts. By aggregating cross-modal information, the region filter selects key regions and the region adaptor updates their coordinates with text guidance. With detailed region-word alignments, SLAN can be easily generalized to many downstream tasks. It achieves fairly competitive results on five cross-modal understanding tasks (e.g., 85.7% and 69.2% on COCO image-to-text and text-to-image retrieval, surpassing previous SOTA methods). SLAN also demonstrates strong zero-shot and fine-tuned transferability to two localization tasks.

我们提出Segnext，这是一种简单的卷积网络体系结构，用于语义分割。由于自我注意力在编码空间信息中的效率，基于变压器的最新模型已主导语义分割领域。在本文中，我们表明卷积注意是一种比变形金刚中的自我注意机制更有效的编码上下文信息的方法。通过重新检查成功分割模型所拥有的特征，我们发现了几个关键组件，从而导致分割模型的性能提高。这促使我们设计了一个新型的卷积注意网络，该网络使用廉价的卷积操作。没有铃铛和哨子，我们的Segnext显着提高了先前最先进的方法对流行基准测试的性能，包括ADE20K，CityScapes，Coco-stuff，Pascal VOC，Pascal Context和ISAID。值得注意的是，segnext优于w/ nas-fpn的效率超过lavenet-l2，在帕斯卡VOC 2012测试排行榜上仅使用1/10参数，在Pascal VOC 2012测试排行榜上达到90.6％。平均而言，与具有相同或更少计算的ADE20K数据集上的最新方法相比，Segnext的改进约为2.0％。代码可在https://github.com/uyzhang/jseg（jittor）和https://github.com/visual-cratch-network/segnext（pytorch）获得。

目前缺乏利用对象关系的目前有效的基于LIDAR的检测框架，这些框架自然而然地以空间和时间的方式存在。为此，我们引入了一个简单，高效且有效的两阶段检测器，称为RET3D。 RET3D的核心是利用新颖的框架内和框架间关系模块，以相应地捕获空间和时间关系。更具体地说，框内关系模块（Intrarm）将框架内对象封装到稀疏图中，从而使我们能够通过有效的消息传递来完善对象特征。另一方面，框架间关系模块（Interm）密集地将每个对象动态地连接到相应的跟踪序列中，并利用此类时间信息以通过轻量级变压器网络有效地增强其表示形式。我们使用基于中心的或基于锚的探测器实例化Intram和Interm的新颖设计，并在Waymo Open数据集（WOD）上对其进行评估。由于额外的额外开销可忽略不计，RET3D实现了最先进的性能，就1级1和2级MAPH指标而言，在车辆检测方面分别比最近的竞争对手高出5.5％和3.2％。

蒙面图像建模（MIM）在各种视觉任务上取得了令人鼓舞的结果。但是，学到的表示形式的有限可区分性表现出来，使一个更强大的视力学习者还有很多值得一试。为了实现这一目标，我们提出了对比度蒙面的自动编码器（CMAE），这是一种新的自我监督的预训练方法，用于学习更全面和有能力的视觉表示。通过详细统一的对比度学习（CL）和掩盖图像模型（MIM），CMAE利用了它们各自的优势，并以强大的实例可辨别性和局部的可感知来学习表示形式。具体而言，CMAE由两个分支组成，其中在线分支是不对称的编码器编码器，而目标分支是动量更新的编码器。在培训期间，在线编码器从蒙面图像的潜在表示中重建了原始图像，以学习整体特征。馈送完整图像的目标编码器通过其在线学习通过对比度学习增强了功能可区分性。为了使CL与MIM兼容，CMAE引入了两个新组件，即用于生成合理的正视图和特征解码器的像素移位，以补充对比度对的特征。多亏了这些新颖的设计，CMAE可以有效地提高了MIM对应物的表示质量和转移性能。 CMAE在图像分类，语义分割和对象检测的高度竞争基准上实现了最先进的性能。值得注意的是，CMAE-BASE在Imagenet上获得了$ 85.3 \％$ $ TOP-1的准确性和$ 52.5 \％$ MIOU的ADE20K，分别超过了$ 0.7 \％\％$ $和$ 1.8 \％$ $。代码将公开可用。

照明是摄影的决定因素，它影响了情感的样式，表达甚至图像的质量。实际上，创建或找到令人满意的照明条件是费力且耗时的，因此开发一种技术来操纵图像中的照明是非常有价值的。尽管以前的作品已经基于重新保留图像的物理观点探索了技术，但是对于生成合理的图像，必须进行广泛的监督和先验知识，从而限制了这些作品的概括能力。相比之下，我们采用图像到图像翻译的观点，并暗中合并了传统物理观点的观念。在本文中，我们提出了一个照明感知网络（IAN），该网络遵循从层次采样到从单个图像中逐步重新重新效率的指导。此外，旨在近似物理渲染过程并提取光源的精确描述以进行进一步操作，旨在近似物理渲染过程。我们还引入了一个深度引导的几何编码器，以获取有价值的几何形状和与结构相关的表示，一旦深度信息可用。实验结果表明，我们提出的方法比以前的最先进方法产生更好的定量和定性重新确定结果。代码和模型可在https://github.com/nk-cs-zzl/ian上公开可用。

联合超分辨率和反音调映射（联合SR-ITM）旨在增加低分辨率和标准动态范围图像的分辨率和动态范围。重点方法主要是诉诸图像分解技术，使用多支化的网络体系结构。 ，这些方法采用的刚性分解在很大程度上将其力量限制在各种图像上。为了利用其潜在能力，在本文中，我们将分解机制从图像域概括为更广泛的特征域。为此，我们提出了一个轻巧的特征分解聚合网络（FDAN）。特别是，我们设计了一个功能分解块（FDB），可以实现功能细节和对比度的可学习分离。通过级联FDB，我们可以建立一个用于强大的多级特征分解的分层功能分解组。联合SR-ITM，\ ie，SRITM-4K的新基准数据集，该数据集是大规模的，为足够的模型培训和评估提供了多功能方案。两个基准数据集的实验结果表明，我们的FDAN表明我们的FDAN有效，并且胜过了以前的方法sr-itm.ar代码和数据集将公开发布。

开放式识别使深度神经网络（DNN）能够识别未知类别的样本，同时在已知类别的样本上保持高分类精度。基于自动编码器（AE）和原型学习的现有方法在处理这项具有挑战性的任务方面具有巨大的潜力。在这项研究中，我们提出了一种新的方法，称为类别特定的语义重建（CSSR），该方法整合了AE和原型学习的力量。具体而言，CSSR用特定于类的AE表示的歧管替代了原型点。与传统的基于原型的方法不同，CSSR在单个AE歧管上的每个已知类模型，并通过AE的重建误差来测量类归属感。特定于类的AE被插入DNN主链的顶部，并重建DNN而不是原始图像所学的语义表示。通过端到端的学习，DNN和AES互相促进，以学习歧视性和代表性信息。在多个数据集上进行的实验结果表明，所提出的方法在封闭式和开放式识别中都达到了出色的性能，并且非常简单且灵活地将其纳入现有框架中。

模型的时间/空间接受场在顺序/空间任务中起重要作用。大型接受场有助于长期关系，而小型接受场有助于捕获当地的细节。现有方法构建具有手工设计的接收场的模型。我们可以有效地搜索接收场合组合以取代手工设计的模式吗？为了回答这个问题，我们建议通过全球到本地搜索方案找到更好的接受现场组合。我们的搜索方案利用了全局搜索以找到粗糙的组合和本地搜索，以进一步获得精致的接收场组合。全球搜索发现除了人类设计的模式以外的其他可能的粗糙组合。除全球搜索外，我们提出了一种期望引导的迭代局部搜索方案，以有效地完善组合。我们的RF-NEXT模型，将接受现场搜索插入各种模型，提高许多任务的性能，例如时间动作分割，对象检测，实例分割和语音综合。源代码可在http://mmcheng.net/rfnext上公开获得。

卷积网络（CNN）的自学意义能力（CNN）已被证明对视觉任务有效。作为CNN的替代方案，视觉变压器（VITS）具有像素级自我注意力和渠道级别的前进网络的强大表示能力。最近的作品表明，自我监督的学习有助于释放VIT的巨大潜力。尽管如此，大多数作品还是遵循专为CNN设计的自制策略，例如样本的实例级别歧视，但它们忽略了VIT的独特属性。我们观察到，像素和渠道之间的建模关系将VIT与其他网络区分开。为了强制执行此属性，我们探讨了用于培训自我监督VIT的功能自我关系。具体而言，我们利用特征自我关系（即像素/频道/频道级别的自我关系）来进行自我监督的学习，而不是仅凭多个视图中的特征嵌入式学习进行自我监督的学习。基于自相关的学习进一步增强了VIT的关系建模能力，从而产生了强大的表示，从而稳定地改善了多个下游任务的性能。我们的源代码将公开可用。